智能对话代理人和人类之间互动的承诺是，模型可以从这种反馈中学习以改进。不幸的是，野外的这种交流并不总是涉及良性或高质量的人类话语，并将包括订婚的（助手），未接触甚至恶意用户（巨魔）的混合。在这项工作中，我们研究了如何在这种环境中进行强大的学习。我们引入了基准评估，即Safetymix，可以评估在各种对抗环境中学习安全语言与有毒语言的方法，以测试其稳健性。我们建议和分析几种缓解学习算法，这些算法在示例或用户级别上识别巨魔。我们的主要发现是，基于用户的方法考虑到巨魔用户将在多个示例中表现出对抗性行为，在我们的基准测试中的各种环境中都可以使用。然后，我们在部署期间收集的对话的进一步现实生活中测试这些方法，结果相似。
translated by 谷歌翻译
经过培训的模拟静态数据集的冷冻模型永远无法提高其性能。可以采用互联网进行互联网以获取最新信息并在部署期间从人类那里获得反馈的模型提供了适应新信息并提高其性能的承诺。在这项工作中，我们研究了如何在此类学习框架中提高以互联网为导向的对话技能。我们收集人类互动的部署数据，并公开可用，并收集各种类型的人类反馈 - 包括二进制质量测量，自由形式的文本反馈和罚款良好的失败原因。然后，我们研究了各种从此类反馈中改进的算法，包括标准监督学习，拒绝抽样，模型引导和基于奖励的学习，以便对哪种类型的反馈和算法效果最好。我们发现最近介绍的导演模型（Arora等人，'22）比其他现有方法显示出显着改善。
translated by 谷歌翻译
我们提出了Blenderbot 3，这是一个175B参数对话模型，能够通过访问Internet和长期内存进行开放域对话，并接受了大量用户定义的任务的培训。我们同时发布了模型权重和代码，还将模型部署在公共网页上，以与有机用户进行交互。该技术报告描述了该模型的构建方式（建筑，模型和培训计划）以及其部署的细节，包括安全机制。人类评估表明，它优于现有的开放域对话代理，包括其前身（Roller等，2021； Komeili等，2022）。最后，我们使用部署收集的数据详细介绍了持续学习的计划，该数据也将公开发布。因此，该研究计划的目标是使社区能够研究通过互动学习的不断改进的负责任的代理商。
translated by 谷歌翻译
在改善的核心，会话AI是如何评估对话的公开问题。具有自动指标的问题是众所周知的（Liu等，2016年，Arxiv：1603.08023），人类评估仍然认为黄金标准。不幸的是，如何进行人类评估也是一个公开问题：不同的数据收集方法具有不同程度的人类协议和统计敏感性，导致人类注释时间和劳动力成本不同。在这项工作中，我们比较五个不同的人群人的人类评估方法，并发现不同的方法是最重要的，具体取决于模型的类型相比，董事会没有明确的赢家。虽然这突出了该地区的开放问题，但我们的分析导致建议何时使用哪一个以及未来的未来方向。
translated by 谷歌翻译
尽管改善神经对话代理的事实准确性是大量研究的对象，但在神经对话的环境中，沟通的另一个重要方面是对无知的透明度。在这项工作中，我们分析了最新的聊天模型在多大程度上是语言校准的，因为它们的疑问（或信心）的口头表达与该模型的响应实际上是不正确（或正确）的可能性相匹配。 。我们发现这些模型的校准很差，但是我们表明可以准确预测正确性的可能性。通过将这种元认知特征纳入可控生成模型的训练中，我们获得了具有大大改进语言校准的对话代理。尽管改善神经对话代理的事实准确性是大量研究的对象，但在神经对话的环境中，沟通的另一个重要方面是对无知的透明度。在这项工作中，我们分析了最新的聊天模型在多大程度上是语言校准的，因为它们的疑问（或信心）的口头表达与该模型的响应实际上是不正确（或正确）的可能性相匹配。 。我们发现这些模型的校准很差，但是我们表明可以准确预测正确性的可能性。通过将这种元认知特征纳入可控生成模型的训练中，我们获得了具有大大改进语言校准的对话代理。
translated by 谷歌翻译